Testing Software Systems Against Realistic User Errors

Le persone organizzano sempre di più ogni aspetto della propria vita attraverso l’utilizzo di sistemi software, dal lavoro al trasporto alla salute. Possiamo essere sicuri che i programmi dai quali ci accingiamo a dipendere sono affidabili ? Tali programmi possono tollerare maltrattamenti degli utenti? Questa tesi affronta il problema di verificare i sistemi software rispetto ad errori introdotti dagli utenti. Gli errori introdotti dagli utenti sono inevitabili. Ciò significa che gli sviluppatori non possono vedere gli utenti come esseri perfettamente razionali che scelgono sempre la migliore linea di azione e non commettono mai errori. Perciò, i sistemi software devono poter essere robusti ad errori umani. In questa tesi si propone una tecnica che verifica i sistemi software rispetto un ampio spettro di comportamenti erronei umani realistici. Tale tecnica permette agli sviluppatori di quantificare l’impatto che gli errori degli utenti hanno sull’affidabilità del loro sistema, e.g. crash di sistema, cos che possano sapere dove e’ meglio agire per migliorare il loro sistema. Le tecniche per rendere i sistemi software robusti ad errori umani sono tre: 1) prevenzione, 2) “coping”, 3) verifica e validazione. Le tecniche di prevenzione permettono di allontanare gli errori degli utenti attraverso l’identificazione e la rimozione di opportunit per gli utenti di compiere errori. Purtroppo, queste tecniche richiedono manodopera esperta che le rende molto costose e sono tuttavia limitate alla protezione dei sistemi solo rispetto ad errori conosciuti in anticipo. Le tecniche di “coping” assicurano la possibilità di mitigare o invertire gli effetti di errori umani. Queste tecniche hanno tuttavia lo svantaggio di incrementare la complessità del sistema, che lo rende complesso da gestire e permette l’insinuazione di difetti al suo interno. Infine, gli sviluppatori usano tecniche di verifica e validazione per mettere in evidenza deficienze nell’implementazione del sistema. Tali problemi possono essere corretti applicando una delle tecniche precedentemente menzionate. Questa tesi presenta una tecnica per verificare i sistemi software rispetto ad errori introdotti dagli utenti che è contemporaneamente automatica e collaborativa. Attraverso l’automazione del processo di verifica del sistema, in questa tesi si mostreranno i benefici dovuti alla riduzione del lavoro manuale richiesto e del numero di test eseguiti. Con il termine “realistico” s’intende che il comportamento erroneo dell’utente è rappresentativo del comportamento tipicamente esercitato dagli utenti che interagiscono con il sistema. Con il termine “rilevante” s’intende che l’attività di verifica è guidata verso le parti del sistema sulle quali gli utenti si affidano di più. Con il termine “collaborativo” s’intende che gli utenti del “mondo reale” possono partecipare al processo di verifica, o come sorgente dei test o come ospitanti dell’esecuzione del test. La tecnica proposta è stata applicata ad applicazioni web, applicazioni smartphone, e a server web. In particolare, tale tecnica è stata in grado di generare test che rilevano difetti non scoperti in ogni categoria di sistemi analizzati. Tali test mostrano che gli errori degli utenti causano l’esecuzione di nuovo codice, il quale contiene difetti. Inoltre la tecnica proposta riesce a preservare l’anonimia degli utenti che partecipano nella collaborazione e non ostacola